COMP5511的第5讲标志着一个关键的转变。我们正从经典计算的确定性逻辑和早期监督学习模型的确定性，转向生成式AI的核心——概率。在本节中，我们将探讨为什么现代AI模型不输出“事实”，而是输出概率分布，揭示使LLM能够写诗、扩散模型能够从噪声中绘图的机制。
1. 范式转变：从逻辑到概率
- 超越“如果-那么”：从僵化的规则转向流畅的统计可能性。
- 确定性的终结：理解为何生成式AI的结果在设计上是非确定性的
- 概率作为工具：生成式AI时代如何将不确定性视为一种特性，而非需要修复的bug。
2. 创新的概率引擎
生成式AI依赖于从高维概率空间进行采样。无论是生成文本还是图像，模型都在不确定性中导航以产生新颖性：
- 大型语言模型（LLM）：预测下一个词元（token）时，并非将其视为单一选择，而是作为一种可能性分布。
- 扩散模型：从混乱的高斯噪声。
- 采样过程：如何利用随机性来防止重复和“机器人化”的输出。
3. 在不可预测世界中的智能体
自主智能体必须在“开放世界”中导航，其中每个动作都带有未知风险和回报。
幻觉的权衡
纯粹的确定性模型是安全的，但缺乏原创性。通过拥抱不确定性，我们实现了创造力，但也引入了幻觉——即模型自信地生成看似合理但错误的信息的风险。
概念采样逻辑
1
定义函数生成响应提示,温度：
2
计算概率分布所有可能词元的；
3
调整分布，基于温度温度（越高 = 更多样化,，越低 = 更聚焦）；
4
选择下一个词元，使用加权随机选择；
5
重复直到完成。
概率建模
现代AI通过统计学的视角看待世界，而非二元真理。